En 1943, Grace Hopper s'engage dans la marine américaine. Elle est affectée l'année suivante au Bureau of Ordnance Computation Project de l'université Harvard. Elle travaille dans l'équipe de Howard Aiken sur l'ordinateur Harvard Mark I. Elle fait partie du premier groupe, comptant trois personnes, apprenant à le programmer. Très vite elle maîtrise l’ordinateur dans tous ses détails. Elle continue ensuite à travailler au développement des ordinateurs Harvard Mark II puis Harvard Mark III pour le compte du Computation Laboratory d'Harvard.
Après la Seconde Guerre Mondiale, Grace Hopper travaille pour Eckert & Mauchly,
l’entreprise qui conçevait les premiers ordinateurs commerciaux. Grace s’en tient à sa conviction et
développe en 1949 une technique qui traduis les symboles mathématiques en un code
d’instruction binaire, compréhensible par la machine. Cette « technique de traduction »
n’est autre que le premier « programme compilateur » pour UNIVAC I, nommé A-O system. Trois ans plus tard,
Grace et son équipe ont surpris le monde informatique en présentant un programme de
compilation (B-O) qui traduis les commandes de programmation en anglais en un langage
de programmation… Les bases des langages de programmation modernes étaient jetées.
À partir de 1957, elle travaille pour IBM, où elle défend l'idée qu'un programme
devrait pouvoir être écrit dans un langage proche de l'anglais plutôt que d'être
calqué sur le langage machine. De cette idée naît le langage COBOL en 1959.